At the end of February, Elon rolled out his latest model. Of course, it was "the best in the world." האם זה באמת החכם ביותר על פני כדור הארץ? כרגיל, מאסק הביא את הרכבת היפ, אבל לא היו הרבה נתונים אובייקטיביים בהשקה. הוא ציין כי הוא עדיין ב-beta והמודלים היו מאומנים באופן פעיל. פוסט בלוג הם צלצלו כמה ביקורות המראות את Grok 3 קדימה. עם זאת, הם לא נתנו גישה ל- API. מה שחשוב כי ביקורות עצמאיות משתמשות בו עבור הערכה. אז, אלון טוען Grok 3 הוא "כמעט חכם" ומכה את כל השאר, אבל הדרכים היחידות לבדוק היו לשוחח עם זה בעצמך או להסתכל על הסימנים שלהם. אז מה עם המונחים האלה?הסתכלו על זה: זהו הדחף שגרק קיבל על ידי כוח מחשוב רב יותר (מחשב בזמן בדיקה) כדי לקבל תשובות עקביות יותר. אתה כנראה יודע מודלים AI לעתים קרובות לתת תשובות שונות במקצת בכל פעם - לפעמים טוב יותר, לפעמים גרוע יותר.רוב המדיניות להתעלם משתנה זה, להעריך רק את התשובה הראשונה (pass@1). אבל התוצאות של Grok הוצגו כולן באמצעות cons@64. כלומר, היא קיבלה 64 ניסיונות עבור כל שאלה ובחרה את התשובה הנפוצה ביותר. אז מצד אחד, הם טוענים שזה מודל דור הבא, מצד שני, הם משתמשים בטריקים זולים למדי. כדי להיות הוגן, בשדה תחרותי כזה, כל המעבדות לכופף את הכללים. מה אומרים המשתמשים המנוסים לאחר שהם משתמשים בו באמת? המודל הוא עצום אבל לא הביא פריצות.הוא עדיין הלוצינציה ונוהג לתגובות ארוכות מדי. במונחים של ביצועים, Grok 3 נחת איפשהו ליד המודלים OpenAI המובילים, אולי קצת יותר טוב מאשר DeepSeek ו- Google's stuff בזמן השחרור. עם זאת, חודשיים לאחר מכן הגיעו Gemini 2.5, Claude 3.7 ו-GPT-4o החדש. סוף סוף קיבלנו גישה חלקית ל-API עבור Grok 3 וגרסת המיניו. אז היום אנחנו יודעים שזה יקר ובוודאי לא הטוב ביותר. אבל תמשיכו, יש עוד סיפור. ואתה צריך להעביר את זה אליהם, אלון ו xAI קפצו לשוק במהירות, הופכים לשחקן מפתח בזמן שיא. 1 – ה-HARDWARE הסיפור הגדול כאן? בשנת 2024, xAI בנה קבוצה ענקית של מחשוב.אנחנו מדברים על 100,000 NVIDIA H100 GPUs לעלות ולפעול רק 4 חודשים. מנכ"ל NVIDIA, ג'נסן הונג בדרך כלל זה לוקח בערך ארבע שנים. מזכיר והפעם, שום דבר מצחיק – זהו מרכז הנתונים הגדול בעולם.אף אחד אחר לא הצליח לקשר כל כך הרבה GPUs במקום אחד. בדרך כלל, קבוצות כאלה הן מרכזי נתונים קבועים מרובים מחוברים על ידי כבלים Infiniband יקרים. במהלך ההכשרה, מרכזי אלה צריכים להחליף טונות של נתונים כל הזמן. במרכז נתונים טיפוסי יכול להיות 10,000-20,000 GPUs, לספוג 20-30 מגה וואט של כוח. מיקרוסופט (ל-OpenAI) מפעילה רשת של 100,000 GPUs באריזונה, ו-Meta פועלת ב-128,000. לדוגמה ראה את שתי הבניינים בצורת ה?זה שני מרכזי נתונים מטא סטנדרטיים לצד אחד את השני. הצרכים לחשמל עבור קבוצות ברמה העליונה התפוצצו עד 10x מאז 2022.אנו מדברים כעת על 150 מגה-ווט לכל קבוצה.זה כמו כוח עיר קטנה.זה יוצר עומס עצום על רשתות החשמל האזוריות.במקומות מסוימים, זה למעשה זול יותר לייצר את החשמל מאשר לספק אותו כי אין מספיק קווי חשמל. אז, אלון נכנס לשוק הזה מאחור... עושה את "הדבר של אלון" שונא את הטוויטים שלו כל מה שאתה רוצה, האיש יודע איך לבנות מפעלים כמו אף אחד אחר. הוא רכש מפעל ישן של אלקטרוולקס בממפיס והחליט לבנות מרכז נתונים ענק במקום רשת כמו כולם. באופן צפוי, כוח הפך להיות עניין. במפעל היו רק 7 מגה-ווט מן הרשת המקומית - מספיק רק עבור 4,000 GPUs.החברה המקומית, רשות עמק טנסי, הבטיחה עוד 50 מגה-ווט, אבל לא עד אוגוסט. אבל להמתין זה לא הסגנון של מאסק. דילן פטל (מתוך חצי ניתוח) באמצעות תמונות לווין אשר אלון רק הביא 14 גנרטורים דיזל ניידים מסיביים מ VoltaGrid. קישרו אותם עד 4 תחנות תת ניידות ומאכילים את מרכז הנתונים. רואים פטל ציין כי הם עשויים לרכוש 30% מהשוק האמריקאי כולו עבור גנרטורים אלה (אם כי לא מצאתי שום דבר על זה). באופן מרשים, מרכז הנתונים גם משתמש בקירור נוזלי. רק Google באמת עשה את זה בקנה מידה בעבר. זה עניין גדול כי הדור הבא של צ'יפס Nvidia, Blackwell B200s, דורשים קירור נוזלי. אתה יכול לבדוק את הדקות הראשונות של וידאו זה כדי לראות איך זה נראה בפנים. https://www.youtube.com/watch?v=Jf8EPSBZU7Y&embedable=אמת זה באמת הנדסה מגניבה - פשוט תסתכל על ניהול הכבלים. אף אחד לא עשה עבודה כה גדולה בתוך זמן כה קצר. 2 – עוד יותר חומרה! אלון אומר כי עד קיץ 2025 יהיה להם קבוצה של 300K GPU עם צ'יפס Blackwell B200. בהתחשב בהרגלו של מאסק להגזים, נניח שזה מציאותי בין 200-400k צ'יפס חדשים עד סוף 2025. מאסק אפילו מתכנן לבנות תחנת כוח ייעודית של 2.2 ג'יגה-ווט, וזה יותר כוח מאשר עיר בינונית צורכת. והוא לא לבד – כל השחקנים הגדולים עושים משהו דומה: → → → → מטא בונה שתי תחנות גז לואיזיאנה. OpenAI / מיקרוסופט יוצרת משהו דומה בטקסס. אמזון ו-Google גם בונים מרכזי נתונים בקנה מידה ג'יגה וואט. למה לא גרעיני? יש לו את הכוח, אבל בניית תחנת גרעינית לוקח יותר מדי זמן.אתה לא יכול פשוט לפתוח אחד ליד מרכז הנתונים שלך בשנה. כתוצאה מכך, גם מיקרוסופט וגם מטה כבר נאלצו לחזור אחורה בהבטחותיהם באנרגיה ירוקה מתחדשת. הם שברו את גבו ומרים את מולק לשמיים! Grok 3 הוא ענק אז, אלון בנה את הקופסה הגדולה והיקרה הזאת. הערכות מצביעות על Grok 2 מאומנים על ~20k H100s, בעוד Grok 3 השתמש מעל 100k. עבור הקשר, GPT-4 מאומנים במשך כ 90-100 ימים על ~25k חבילות A100 ישנות, עם H100 בערך 2.25x מהיר יותר. עושה את המתמטיקה, Grok 2 קיבל בערך פעמיים את כוח המחשוב שזרק על זה בהשוואה GPT-4. באופן כללי, הכולל עבור Grok 3 הוא סדר של גודל (10 פעמים!) יותר מאשר המתחרה הקרוב ביותר שלה. למרבה הצער, אין לנו נתונים ציבוריים עבור GPT-4.5 או Gemini 2.5. מחשב עלות אז הם השקיעו כמויות מטורפות של משאבים בבניית המגה-קלאסטר הזה, והמודל המתקבל הוא ... רק על שוויון עם המועמדים. נראה כי המומחיות של xAI בהכשרה עדיין עוקבת מאחורי OpenAI, Google, או Anthropic. הם בעצם כבשו את דרכם לרמה העליונה. אבל יש תקלה עם הגישה הזאת.Epoch AI במהלך העשור האחרון, שיפורים אלגוריתמיים עשו בערך שליש מההתקדמות ביכולות המודל, ושני שלישים האחרים באו רק מהשילוב של יותר חומרה ונתונים במודלים גדולים יותר. הערכות כוח כבד עבד עבור Grok 3 הפעם, אבל עלויות יגדל באופן אקספונציונלי תוך מתן פחות ויותר שיפור. xAI צריך לתפוס את הצד של האלגוריתם. החדשות הטובות הן כי עכשיו הם נראים כמו דחוף את הגבול, כך שזה כנראה יהיה הרבה יותר קל למשוך את הכישרון העליון. 4 - מה טוב על Grok? → → זה לגמרי בחינם (אולי עד השחרור המלא). וללא הגבולות הקפדניים של Anthropic, הפסקות של DeepSeek, או רמות בתשלום של OpenAI. גם עם כל הדגמים החדשים שנפלו בחודשים האחרונים, Grok עדיין מחזיק את עצמו ליד העליון של לוח המנהיגים Chatbot ארנה כמו כן, קיימת ביקורות עצמאיות על • : עידן על ידי • : LiveBench → → תגית: Reasoning & Deep Research Mode בחודש פברואר, התכונה החינמית של Deep Research הייתה בעיקר בלעדית ל-Perplexity.Now, Google ו-OpenAI מציעים כמה ברמה בסיסית – אולי Grok דחף אותם? מצב זה מנתח באופן אוטומטי 30-100 קישורים (Google עשוי לעשות יותר) בתוך דקות ומזרק סיכום מפורט (והתנפח) שאתה רק צריך לגלות ולבדוק עובדות.זה הרבה יותר קל מאשר לחקור כל דבר מהתחלה. → אינטגרציה עם X זה יכול להיות תכונה הרוצח שלה: חיפוש סמנטי לא רק עבור מילות מפתח, אבל עבור מה אתה מתכוון. טוויטר הוא הקרוב ביותר לפלטפורמת מידע בזמן אמת, אז זה נהדר, אבל עד כה גרוק לעתים קרובות מתעכב, למשוך נתונים מהימים האחרונים במקום. → → החפצים הלא מסודרים וכדי לגמר הגדול, המצב 18+. Grok הוא קל לשבור ללא מאמץ רב. אתה יכול להשיג את זה לעשות ... ובכן, כל מה שאתה יכול לרצות, מן קולות מעורב לתפריטים ספציפיים. דוגמאות של מצב הקול הם בהחלט פראיים. https://x.com/goodside/status/1893932239718691167?embedable=true תשמעו עד הסוף, זה מגניב! באופן אירוני, גורק עצמו לא נראה לשמור על מוסק (או טראמפ) בתשומת לב גבוהה.כאשר זה יצא, xAI ניסתה לתקן - באופן מילולי קודיק חוק כי גורק לא יכול להביע ביקורת על אלון. הבעיה האמיתית היא שהדעות של גרוק הן רק השתקפות של נתוני ההכשרה שלה (כלומר, האינטרנט), לא כמה דעות קדומות בכוונה. 5 – האם כדאי לנסות? בהחלט לנסות את זה, אבל כמו הטייס השני שלך. ה TLDR : → → → → → → → → זה עולה הרבה יותר על הרכבת מאשר מודלים של המתחרים. למרות זאת, הביצועים כמעט בצד עם הטובים ביותר. אבל זה סופר מהיר וחופשי (עד כה). מצב המחקר העמוק הוא באמת שימושי – נסה את זה אם לא. יותר נוטים לחלומות ולקפוץ למסקנות מהר מדי. תשובות הן בדרך כלל מבוססות היטב אבל לעתים קרובות מרגישים נפיחות. גישה ייחודית לנתונים של Twitter. xAI הוכיחו כי הם מסוגלים לבנות תשתיות ברמה עולמית במהירות חסרת תקדים, אבל ביכולות אמיתיות של AI, הם בעצם קונים את דרכם למעלה עם כוח מחשוב טהור. זה מוסיף שחקן חזק נוסף בלחץ על OpenAI, Google, ו Anthropic, דוחף את תעשיית AI לקראת סחורה. אהבת את זה?הצביע או נרשם הייתי מעריך את זה! Newsletter שלי
